安装部署

环境

工作平台：WIN, MacOS
服务器平台：Liunx OS
版本管理：git(github\gitlab)

软件	版本
python	3.8
azkaban	3.80.1
mysql	5.7.28
java	1.8.0_232

Java

yum install yum install java-1.8.0-openjdk.x86_64

Python

安装 python：https://docs.python.org/zh-cn/3/using/index.html
安装配置虚拟环境
安装工具包：
- 查看pip3版本
- 切换国内镜像源
- 安装需要的工具包：
  
  pip3 install numpy pip3 install pandas pip3 install pymysql pip3 install sqlalchemy pip3 install ...

Mysql

安装教程：https://blog.csdn.net/fanshujuntuan/article/details/78077433

Azkaban

详细安装教程：见 前置教程 。
下载源码并执行编译，或直接执行编译完成的文件
百度网盘下载地址：
官方安装文档：https://azkaban.readthedocs.io/en/latest/getStarted.html#getting-started-with-the-multi-executor-server
部署 web server
- 安装jetty：keytool -keystore keystore -alias jetty -genkey -keyalg RSA
启动服务

# 启动exec
cd azkaban-exec-server/build/install/azkaban-exec-server
./bin/start-exec.sh

# 设置state
cd azkaban-exec-server/build/install/azkaban-exec-server
curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

# 启动web
cd azkaban-web-server/build/install/azkaban-web-server
./bin/start-web.sh

防火墙

# 配置防护墙
vi /etc/sysconfig/iptables

# 增加
-A INPUT -p tcp -m state --state NEW -m tcp --dport 3306 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8081 -j ACCEPT

# 启动防火墙
service iptables status

安装

创建虚拟环境
git clone
创建数据库和账户
配置文件 config
- 数据库
  - mysql
  - hive
  - mongodb

« Previous Next »